Năm 2004, Hứa Vĩ Văn vướng tin đồn hẹn hò ca sĩ Hiền Thục sau khi vài bức ảnh cưới được công bố trên một tờ báo.[31]

Trong một bài phỏng vấn trên báo VnExpress[32], Vĩ Văn tiết lộ rằng thời thanh xuân anh từng có ba mối tình. Sau mối tình đầu kéo dài ba năm, Vĩ Văn phải lòng cô bạn học chung thời phổ thông nhưng mối quan hệ trở nên rắc rối. Sang đến cuộc tình thứ ba cũng là người khiến anh đau khổ nhất. Bước sang tuổi 40, Vĩ Văn luôn từ chối tiết lộ về đời sống tình cảm riêng. Anh tự gọi mình là “độc thân quý tộc”.[33]

Vĩ Văn từng rời khỏi showbiz một thời gian ngắn[34]. Đó là vào năm 2007, khi có một vị trí nhất định trong nghề, nhưng vì sự tự mãn khiến Vĩ Văn trở nên trầm lắng và phải sang Mỹ sống ẩn dật.